Năm 200, thủ lĩnh Giang Đông là Tôn Sách qua đời, em là Tôn Quyền lên thay. Anh rể của Tôn Quyền là Hoằng Tư gặp Gia Cát Cẩn, rất ngưỡng mộ tài năng của ông, bèn tiến cử cho Tôn Quyền. Ông được Tôn Quyền đãi làm khách cùng Lỗ Túc. Năm đó Gia Cát Cẩn 27 tuổi.

Sau đó, ông được Tôn Quyền phong làm Trưởng sử rồi chuyển làm Trung tư mã. Năm 207, em ông là Gia Cát Lượng (khi đó cũng 27 tuổi) bắt đầu phục vụ cho sứ quân Lưu Bị và trở thành nhân vật rất quan trọng trong tập đoàn Lưu Bị.

Năm 208, sau trận Trường Bản, Gia Cát Lượng làm sứ giả sang Đông Ngô để liên kết với Tôn Quyền cùng chống Tào Tháo. Tôn Quyền ngưỡng mộ Gia Cát Lượng, liền sai ông giữ Gia Cát Lượng lại để theo Ngô. Gia Cát Cẩn đáp rằng:

Vì vậy Tôn Quyền thôi ý định dụ Khổng Minh và cũng rất tin tưởng lòng trung thành của ông[1].

Năm 215, Tôn Quyền sai Gia Cát Cẩn đi sứ kết thân với Lưu Bị, đã gặp mặt bàn việc công với Gia Cát Lượng. Lúc xong việc lui ra, ông không gặp mặt riêng em mình[1].

Khi can gián Tôn Quyền, Gia Cát Cẩn thường không nói thẳng mà chỉ mang việc khác ra so sánh để Tôn Quyền từ từ hiểu ra.

Năm 219, Gia Cát Cẩn đi theo Lã Mông đánh Quan Vũ thắng trận chiếm Kinh châu, được phong Nghi Thành hầu, làm Tuy Nam tướng quân. Không lâu sau Lã Mông qua đời, ông được Tôn Quyền cử thay Lã Mông làm thái thú Nam quận, đóng ở huyện Công An.

Lưu Bị sang đông đánh Ngô, Tôn Quyền xin giảng hòa. Gia Cát Cẩn gửi thư cho Lưu Bị, đề nghị lấy họ Tào làm đối thủ chính, không nên chĩa mũi nhọn vào Đông Ngô. Tuy nhiên Lưu Bị không chấp nhận.

Có người gièm pha ông với Tôn Quyền rằng ông sai người thân đi riêng qua lại với Lưu Bị, nhưng Lục Tốn không tin theo, gửi thư cho Tôn Quyền tỏ ra tin tưởng ông và trấn an ông. Bản thân Tôn Quyền cũng không nghi ngờ gì ông.

Năm 222, Gia Cát Cẩn chuyển làm Tả tướng quân, coi việc quân ở Công An, ban Giả tiết, phong Uyển Lăng hầu.

Năm 223, tướng Ngụy là Tào Chân, Hạ Hầu Thượng vây tướng Ngô là Chu Nhiên ở Giang Lăng, lại chia quân chiếm Trung Châu. Tôn Quyền sai Gia Cát Cẩn đem đại quân đến cứu giúp. Đến mùa xuân nước sông dâng, tướng Phan Chương lấy thuyền bè làm hàng rào ở trên sông, Gia Cát Cẩn đến đánh cầu nổi. Tào Chân rút chạy.

Ngu Phiên vì nói thẳng mà bị bắt đi đày, chỉ có Gia Cát Cẩn thường xin tha cho ông ta, nhưng không được.

Gia Cát Cẩn là người nhã nhặn, được mọi người nể phục, Tôn Quyền coi trọng, thường hỏi các việc lớn[1]. Năm 229, Tôn Quyền xưng đế, phong Gia Cát Cẩn làm Đại tướng quân, Tả đô hộ, lĩnh chức Dự châu Mục.

Ông có con trưởng là Gia Cát Khác, nổi danh có tài, được Tôn Quyền rất coi trọng. Tuy nhiên, Gia Cát Cẩn thường ngờ vực, bảo rằng Khác không phải là con giữ được cơ nghiệp, thường vì thế mà lo lắng.

Năm 241, Gia Cát Cẩn qua đời, thọ 68 tuổi. Trước khi mất, ông lệnh cho người nhà dùng quan sơ sài, lấy áo thường mà liệm, các đồ táng phải tiết kiệm[1].

Vì Gia Cát Khác đã được phong hầu khi ông còn sống nên người con thứ của ông là Gia Cát Dung nối tước ông, lĩnh quân sĩ trú ở thành Công An.